En el ámbito de la Inteligencia Artificial, el modelado de secuencias cambia el enfoque desde instantáneas estáticas hacia flujos temporales. Las tareas estándar de aprendizaje automático suelen asumir que los puntos de datos son Independientes e Idénticamente Distribuidos (IID), lo que significa que el orden de las muestras no influye en el resultado.

El modelado de secuencias rechaza explícitamente esta idea, centrándose en tres pilares fundamentales:

• Violación de Invariancia bajo Permutación: En los datos tabulares, el orden de las columnas es arbitrario. En las secuencias, el orden es la característica principal. Cambiar "El gato comió al ratón" por "El ratón comió al gato" cambia fundamentalmente el verdad semántica fundamental a pesar de tener los mismos tokens.
• Autoregresivo Propiedades: Asumimos que una observación en el tiempo $t$ está matemáticamente condicionada a su historia ($t-1, t-2, \dots, 1$). Esto requiere probabilidades de transición para capturar cómo evoluciona la información.
• Mapeo de Longitud Variable: A diferencia de las rejillas fijas de 28x28 píxeles, las secuencias como frases o ondas sísmicas son elásticas. Los modelos deben procesar entradas de longitud $N$ y producir salidas de longitud $M$ usando parámetros constantes.